2023：数据协同的崛起（上）

2023：数据协同的崛起

企业已经进入数据民主化的时代，如何能够在全员皆是数据用户的情况下做好数据协同，成了所有企业面临的问题。数据协同是数据治理，数据利用的基础，协同做不好，会导致数据价值流的中断，各种浪费，但是企业过去更多关注于数据生产和加工，对于数据协同缺少应有的重视和投入。

精益数据方法论强调打造从数据源到数据产品的价值流的加速，数据协同创新是精益数据方法的六大能力之一。

一、问题的提出

    单维度的数据价值含量低，只有多种数据的组合协作才能产生更大的业务价值，才能进行创新，比如 100 万条用户姓名数据的价值远低于 1 万条用户订单、地址、行为数据的组合。受限于组织结构和应用架构，很多企业的数据是不共享、不集成、不协同的。

    数据已经成为企业所有部门的生产要素，但是传统的职能分工还停留在 IT部门处理数据的阶段，于是出现了数据需求膨胀、IT 部门能力不足、数据开发需求缓慢排队的情况。IT 部门的资源已经无法支撑企业剧增的数据需求，各部门数据自服务将成为企业的趋势。

    数据协同创新就是打造一站式的数据生产体系，让数据的分析、利用、创新变成日常工作的一部分。数据协同创新是通过精益数据方法，对齐企业数据战略，依托数据中台里的协同创新组件，如大数据自服务门户、企业数据创新平台，推动相关的组织、人员、设备全链路协同，让所有的要素共享互通、高效协作、快速创新。

数据协同的定义

1. 企业为什么需要数据协同

数据只有组合才能产生更大的业务价值和创新。精准营销就是基于用户画像、历史销量和产品画像的数据组合实现的。数据本身是没有壁垒的，是相互关联、相互耦合的，但是企业的组织结构、岗位分工却将数据局限在一个个孤岛里，使其无法自由地流动和参与部门协作。数据协同要从一种自发、无组织、依赖工作人员线下关系和利益的被动协作，走向标准化、统一、借助平台工具的体系化协作，才能从根本上打破数据的壁垒，让数据要素真正成为企业的资产，更快、更好地创造价值。

2. 数据协同的定义

数据协同是指多方协作，融合多方数据，对数据要素进行加工利用，达成某一类业务目标的过程。数据协同的本质是人与数据的价值连接，如图 6-1所示。

图 6-1　数据协同创新的本质是人与数据的价值连接

数据协同包括局部协同和全局协同。

● 局部协同解决局部业务问题，优化多人协作的过程。比如，为了获取用户画像数据，数据工程师、软件工程师和多个业务系统的业务人员协作，制定标准和行动计划，从多个业务系统中获取统一集成的用户数据。

● 全局协同是企业整体的数据生产、采集、加工、利用的全链路协同方式，让所有的数据用户利用同一套数据，按照统一的标准协作。目前大部分企业的数据协同都处于局部协同阶段，往往是项目级、任务级的团队内部协作，并未形成企业级的全局协同。

3. 业务对数据协同的期待和现状

企业各个业务部门对于数据的依赖性越来越高，很多企业每个业务部门都有专门的数据分析和运营人员获取业务数据，对数据进行分析，然后生成报表和洞察报告提供给业务决策者。在这个过程中，业务部门不仅需要本部门的数据，很多时候还需要其他业务的数据。比如，销售部门在做销售预测的时候，除了需要销售数据外，还需要财务的数据、库存的数据等。各业务部门对于数据共享的需求越来越旺盛，所以如何协同就成了很大的挑战。在现在大部分企业中，业务部门期待的数据协同方式和实际现状间仍存在很大的差距，如图 6-2 所示。

图 6-2　企业数据协同的期待和现状

    基于过去的职能分工，找数据、做报表、做分析，就找 IT 团队。在这样的组织结构和共同认识下，所有的需求都找 IT 团队去解决，在过去很多年都是这种协作关系。在这样的分工模式下，企业数据协同的需求并不旺盛，因为各部门都找 IT 部门提供数据，自己并不需要做数据的工作。随着企业业务的快速发展，企业全员对数据的需求处于爆炸式增长的阶段，所有的业务分析、决策都需要数据的支撑，各类报表、指标等着 IT 部门来开发，甚至开一个会都需要抓取各种数据来做临时的分析。在这种情况下，没有哪个企业的 IT 部门能够及时地满足这样庞大、随机、缺少计划的数据生产需求。当业务部门在 IT 部门排队等待、催促还是无法获得数据以后，业务部门就开始自建数据分析和运营体系，在部门内部实现获取数据、分析数据、加工数据等过程，这样一来，各种数据生产工具不断出现，各种数据集不断产生。

    由于缺少统一的标准，缺少技术工具，各自业务部门间的数据口径、数据分布都不一样，所以当业务部门自己做各种数据分析工作的时候是缺少标准化协同的，最后导致重复加工、重复分析、数据不一致等多种问题。

二、问题的剖析

企业级数据协同全景图

数据协同的 6 个阶段

经过十几年的信息化建设，企业生产的数据越来越多，企业利用数据的需求也越来越广泛和深入，所以很多岗位的主要工作就是加工和分析各种数据，而所有人都是在一套企业的数据基础上进行加工利用，形成了企业数据协同的全景图，如图 6-3 所示。

从图 6-3 可以看到，企业的数据协同过程可以分成 6 个关键阶段。

1. 数据源

众多企业面临着数据复杂度的挑战，众多割裂的系统时刻都在产生大量的源数据，这些数据以部门为单位生产，服务于某一段时期的特定业务需求，不同的开发团队采用的技术架构不尽相同，数据建模方法也不一样，缺少协同。应用级的数据之间口径不一致，内部的数据开发人员缺少协作，最终导致数据孤岛丛生。

在数据源阶段，企业的数据生产缺少规划协同，数据源之间的数据不共享、不拉通，导致从源头上就有很多数据的重复生产、重复存储、标准不一等问题。

2. 数据采集、获取

过去多年以数据仓库为主的企业数据建设过程中，有很大一部分工作是从源数据系统中采集和集成数据，这样的采集工作呈现两个特点。

（1）需求多样

不同的业务需求对数据有着不同的采集频率、采集方式，比如文件传输、数据库复制、通过 API 获取等。

（2）标准不一

这样的采集工作缺少全局的规划，数据消费端的需求不一样，所以采集哪些数据，用什么结构去采集，以及如何设计数据处理链等，这些环节都不一样。

3. 数据存储

采集到的数据会被存储到各种各样的数据系统中。很多企业的数据体系缺少统筹规划，是按照组织结构来设计的。比如，集团有集团级别的数据仓库，分 / 子公司有分 / 子公司级别的数据仓库，而有的业务部门也有自己的数据存储系统。所以重复加工、重复存储的数据随处可见，缺少统一的数据血缘追溯体系，有的时候数据消费端不知道从哪里能取到最可信的数据。

4. 数据分析、加工

数据分析是应用最广泛的数据处理工作，从业务人员到数据人员都有数据分析的需求，但是目前企业的数据分析现状具有以下 3 个特点。

1）大量时间在找数据而不是分析数据。很多数据分析师接到分析需求后，花费大量的时间，甚至超过 50% 的时间找数据、要数据，以及做数据分析前的数据预处理工作。这是因为数据资产没有被集中、规范地管理，数据分散在不同的地方，无法被高效定位、识别和获取。

2）缺少在线协作的分析工具。日常的工作中，各部门还是用自己熟悉的工具做分析，使用即时通信工具来沟通甚至传送数据。大部分企业尚未建立统一、在线、端到端的数据协作工作台。

3）分析后的成果难以共享和分发。一项数据分析工作完成后，分析的成果往往都在分析师自己的电脑上，没有统一的系统去存放、共享和分发，所以其他数据分析师再次碰到类似问题的时候，要么重新分析，要么到处打电话向其他数据分析师询问是否有可以参考的内容，效率非常低下。

在数据分析的背后是非常繁重的数据加工工作，而当前大部分企业的数据加工环节是以数据团队为中心去进行的，这样导致以下 3 种现象出现。

1）数据团队疲于奔命。数据团队由于资源和能力有限，往往被众多数据加工任务排满，工作量大，每天被各种紧急需求追着跑。

2）缺少统一管理。数据加工环节缺少统一的监控、调度、预警等管理功能也是目前很多企业的现状之一。无法及时地发现数据加工环节的问题，导致业务部门在使用数据产品的时候发现数据口径不一致等问题，然后紧急救火。

3）缺少统一工作台。当下，很多数据工程师的工作环节并未打通，都是在一个工具应用里做完一个任务后再登录下一个应用，有时候还是离线地在本机上处理数据然后传送文件。这样带来了很多数据不一致、重复加工、版本无法管理的问题。

5. 数据产品

数据产品的构建是从数据到价值的最后一公里，目前的企业数据产品构建往往呈现三大特点。

1）缺乏统一管理。数据产品的形态多种多样，比如 Excel 表格、FTP 文件、数据集、数据 API、数据应用。目前很多企业并没有建立起统一发现、搜索和使用数据资产和产品的平台，在这种情况下，由于业务的紧迫需求，工作中难以避免数据的分发和复制。

2）缺少运营。数据产品被谁下载及使用，使用的情况如何，这些用户消费和行为数据并未由统一的平台去记录和管理，所以哪些数据产品是令用户满意的、受欢迎的，哪些是不受欢迎的，都无从衡量。这也是很多数据平台和数据产品的价值无法度量的原因之一。

3）安全风险。企业虽然强调数据安全，但是缺少技术平台的支撑，数据安全体系仍然处处都有漏洞，具体体现在数据资产没有分级、分类机制，数据产品的安全管控缺失等。

6. 业务场景

数据产品最终会应用于不同的业务场景，如在生产领域的智能排产、需求预测；销售领域的精准营销、用户画像；运营领域的预测性检修和智能维护等。这些业务场景往往是由不同的部门主导和构建的，所以各业务场景之间是相互割裂、互不联系的。从数据的角度看，所有的业务场景背后可信且真实的数据应该只有一套，而目前往往各个业务领域都有自己的数据副本，数据经过了很多二次加工操作，所以最后不同业务场景中一些共性数据会出现口径不一致、结果不一致的问题。

数据协同的 6 个挑战

从企业数据生产加工过程来看，企业数据协同面临以下 6 个挑战，如图 6-4 所示。

1. 目标不一致

协同的基础是有共同的目标，只有有了共同的目标和利益，相关人员才能够在内心里认同协同。如果连目标都不一致，那么协同也就是一句空话，企业提供再好的工具平台都是无效的。而现在很多部门的数据利用与生产是割裂的，各方并没有形成统一的目标，分别有各自的 KPI，缺少对齐目标的意识和行动。

2. 缺少意识

目前很多企业尚未建立起数据协同的意识，业务部门认为数据是技术部门和数据部门的事情，与自己无关。应用开发团队将数据团队隔离在外，什么事情都喜欢自己搞定。这导致不同部门或团队总会出现数据不一致等问题，根本原因是缺乏数据协同的意识。数据是没有组织壁垒、没有立场的，能将所有事实串联成链条。当数据成为生产要素的时候，数据的协同就成了必然的趋势。

3. 缺少标准

当下很多企业在数据开发和利用上没有统一的标准，包括数据协同处理的流程和规则、各个团队之间的分工等方面。

4. 缺少度量

很多企业尚未建立协同的标准，部门间数据协作的过程也都是线下自发的方式。没有标准也就采集不到协作过程的关键指标，比如进度、状态等，也就无法可视化和度量每一个数据任务的状态，比如该任务目前处于哪个环节，进度是否符合计划等。

5. 缺少平台

只有标准是不够的，必须要有工具和平台来支撑标准的执行和落实，否则标准带来的只是额外的管理工作量。但是目前大部分企业都缺少企业级的数据协同平台，能把业务、技术和数据三方的相关内容和工作人员都整合在一起，无缝衔接，无边界协作。

6. 缺少运营

让企业实现数据协同还需要运营。运营的主要任务包括如下几点。

● 运维：监控企业的各项数据协同状况，及时发现问题，比如数据处理链异常、存储空间不够等。

● 调度：调度相关的资源来支持和保障各项数据协同任务能够高效完成。

● 分析：通过分析相关的协同数据，发现数据协同过程的趋势、风险以及、待优化点。

● 引导：举办活动，制定机制，鼓励和引导更有价值的数据协同生产。

    企业已经进入数据民主化的时代，如何能够在全员皆是数据用户的情况下做好数据协同，成了所有企业面临的问题。

    如果这个问题解决不好，那么数据治理也会越来越难。

    要解决这个问题，需从用户的本质需求出发，搞清楚企业数据的用户都有哪些，分成什么类型，不同的诉求是什么，会进行怎样的协同。